Cao Lực Sĩ được ghi nhận là người mở đầu ra tiền lệ hoạn quan lấy vợ[7]. Ông lấy người con gái có nhan sắc của viên tiểu lại ở kinh thành là Lã Huyền Ngộ làm vợ và giúp Huyền Ngộ thăng quan tới chức Thứ sử.

Cao Lực Sĩ có mẹ là Mạch thị, trong lúc nhà cửa tan nát vì cha bị tội, hai mẹ con lạc nhau. Sau 30 năm (719), Tiết độ sứ Lĩnh Nam tìm được mẹ ông ở Long châu, mang về nhà ông, nhưng hai mẹ con ban đầu không nhận ra nhau. Sau đó Mạch thị nhận ra vòng vàng đeo trên người Lực Sĩ và nhớ tới 7 nốt ruồi trên ngực ông, hai mẹ con mới nhận ra nhau. Đường Huyền Tông bèn phong Mạch thị làm Việt quốc phu nhân và truy phong Phùng Quân Hành cha ông làm Đại đô đốc Quảng châu. Lúc đó mẹ nuôi ông (vợ của cha nuôi Cao Diên Phúc) còn sống, Cao Lực Sĩ vẫn phụng dưỡng không khác gì mẹ đẻ[6].